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(57) Abstract 

The aim of the invention is to increase the capacity of processor systems 
consisting of a large number of individual processors using the MESI state 
model to maintain the cache coherence inside the processor system. To this 
end, more states are added to the MESI state model, which is otherwise limited 
to four states. In this way, the state situations inside the processor system can 
be handled in a more differentiated manner and unnecessary bus accesses can 
be avoided. The processing capacity which comes available as a result can 
be used to increase the capacity of the system. 

(57) Zusammenfassung 

Zur Erhdhung der Leistungsfahigkeit von Prozessorsystemen 
bestehend aus einer groBen Zahl von Einzelprozessoren, das zur 
Aufrechterhaltung der Cachekoharenz innerhalb des Prozessorsystems sich 
des MESI-Zustandsmodells bedient, wird vorgeschlagen, das an sich auf 
vier Zustande begrenzte MESI-Zustandsmodell mit weiteren Zustanden 
zu erweitern. Die Zustandssituationen innerhalb des Prozessorsystems 
kdnnen auf diese Weise differenzierter behandelt und unndtige Buszugriffe 
vermieden werden. Die freiwerdende Bearbeitungskapazitflt kann zur 
Leistungssteigerung des Systems genutzt werden. 
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Beschreibung 



Einrichtung zur Erhohung der Leistungsf ahigkeit von Prozes- 
sorsystemen 

Die Erfindung betrifft eine Einrichtung zur ErhShung der Lei- 
stungsf ahigkeit von Prozessorsystemen gemafi dem Oberbegriff 
des Anspruchs 1 . 

GroBe Server bestehen aus einem Prozessorsystem mit einer 
grofien Anzahl von Einzelprozessoren. Die Anzahl der Einzel- 
prozessoren betragt beispielsweise 16, 32, 64, 128 u.s.w.. 
solche Server sind als UNIX- oder als NT-Systeme bekannt. Die 
Einzelprozessoren haben heute meistens einen Cachespeicher 
bereits im Chip. Es wird daher auch von einem sogenannten On- 
Chip First Level Cachespeicher beziehungsweise von einem 
First Level Cachespeicher gesprochen. Den Einzelprozessoren 
konnen daneben aufierhalb des Chips noch weitere Cachespeicher 
zugeordnet sein. Bei einem ersten weiteren solchen Cachespei- 
cher wird dann von einem sogenannten Off-Chip Second Level 
Cachespeicher beziehungsweise von einem Second Level 
Cachespeicher gesprochen. Neben den First und Second Level 
Cachespeichern konnen zusatzliche Chachespeicher vorgesehen 
sein, die dann beispielsweise als Third Level Cachespeicher 
bezeichnet werden. 



Die zusatzlichen Cachespeicher sind insbesondere verwendet, 
urn jeweils einzeln oder gruppenweise Einzelprozessoren zu ei- 
nem Cluster zusammenfassen. Heutige Standardprozessoren er- 
lauben nur den Ausbau von jeweils bis zu vier Einzelpro- 
zessoren. Werden mehrere solche zusatzlichen Cachespeicher 
mit zum Beispiel jeweils vier Einzelprozessoren vorgesehen, 
konnen die oben erwahnten groflen Prozessorsysteme aufgebaut 
werden. Die einzelnen zusatzlichen Cachespeicher mussen dabei 
cachekoharent miteinander verkoppelt sein. Die Verkopplung 
konnte Hierarchieabstufungen beinhalten, in denen nicht nur 
jeweils vier Einzelprozessoren, sondern jeweils auch mehrere 
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zusatzliche Cachespeicher miteinander verkoppelt werden. Als 
Ergebnis wird ein Prozessorsystem mit einer grolien Anzahi von 
Einzelprozessoren erhalten, das eine groiie Leistungsf ahigkeit 
hat. 

5 

Wie oben angesprochen, muss sich ein Prozessorsystem cacheko- 
harent verhalten. Hierzu ist es mOglich, die Bustransaktionen 
zu beobachten und zu interpretieren. Aus der Analyse der Bu- 
stransaktionen kann geschlossen werden, in welchen Zu- 

10 standssituationen sich die Cachedatenblocke der von der Bus- 
transaktion betroffenen Cachespeicher befinden. Ist bekannt, 
in welchen Zustandssituationen sich die Cachedatenblocke be- 
finden, kann dafur gesorgt werden, dass innerhalb des Prozes- 
sorsystems CachekohSrenz hergestellt bzw. auf rechterhalten 

15 wird. 

Die Beschreibung der Zustande der Cachedatenblocke kann mit- 
tels eines Cache-Protokolls erfolgen. Ein bekanntes Cache- 
Protokoll folgt dem sogenannten MESI-Standard. GemaJi dem 
20 MESI-Standard wird den einzelnen Cachedatenblocken einer von 
vier vordef inierten MESI-Zustanden zugeordnet. Die vier vor- 
definierten MESI-Zust^nde sind: MODIFIED (M) , EXCLUSIVE (E) , 
SHARED (S) und INVALID (I). Diese Zustande sind mit zwei 
MESI-Bits kodiert darstellbar. 

25 

MODIFIED bedeutet, dass der zugehorige Cachespeicherblock ex- 
klusiv im Cachespeicher enthalten ist, aber neu geschrieben 
worden ist. Er ist aktuell nicht im Ubrigen Prozessorsystem 
bekannt. EXCLUSIVE bedeutet, dass der zugehorige Cachespei- 

30 cherblock nicht verandert ist. Er stimmt mit dem Inhalt des 

System-Hauptspeichers uberein. SHARED bedeutet, dass sich der 
zugehorige Cachespeicherblock noch in einem weiteren Cache- 
speicher befindet und noch gultig ist. INVALID bedeutet, dass 
der zugehorige Cachespeicherblock ungultig Oder nicht im TAG- 

35 RAM des Speichers vorhanden ist. 
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Der Zustand eines Cachespeicherblocks kann durch einen je- 
weilig zugeordneten Einzelprozessor Uber einen Lese- und 
Schreibvorgang abgeandert werden. Der Zustand kann auch durch 
ein systeminternes Abfragen, auch als Snooping bekannt, abge- 
andert werden. Er kann ebenso von externen Logikeinheiten, 
z.B. einem anderen Einzelprozessor oder einem Second Level 
Cachespeicher, d.h. durch ein externes Snooping, abgeandert 
werden. In jedem Fall befindet sich zu jedem Zeitpunkt ein 
jeweiliger Cachespeicherblock nur in einem der vier genannten 
MESI-Zustande . 

Eine genauere Funktionsbeschreibung des MESI-Protokolls ist 
beispielsweise im Internet unter der Internetadresse : 
http: //www. altavista . com/egi- 

bin/query?pg=q&kl=de&q=MESI&search=Search , Punkt 1, "Pentium: 
Neuerungen in der x8 6 Architektur" , zuletzt geandert am 
28.3.1997 bzw. in der dazugehorigen Schrift im Internet mit 
der Internetadresse: http : / /plweb . htu . tuwien . ac . at /pentium , 
Punkt 2.7.1 M.E.S.I.-Protokoll offenbart. 

Eine Moglichkeit, die Cachekoharenz in einem Prozessorsystem 
mit zusatzlichen Cachespeichern zu gewahrleisten ist, si- 
cherzustellen, dass die zusatzlichen Cachespeicher eine Ober- 
menge aller Cachedatenbl5cke der mit ihnen direkt in Verbin- 
dung stehenden anderen Cachespeicher haben. Dazu ist es er- 
forderlich, dass bei alien VerdrangungsvorgSngen eine Update- 
Anforderung zum Beispiel an einen angeschlossenen Einzelpro- 
zessor bzw. dessen Cachespeicher gerichtet und ein vom Ver- 
drangungsvorgang betroffener Cachespeicherblock zurlickgef or- 
dert wird. FUr derartige Update-Anforderungen bzw. deren Ab- 
arbeitung ist eine Systemleistung erf orderlich, die einem An- 
wender nicht als Nutzleistung zur Verfugung steht. Die Lei- 
stungsfahigkeit des Gesamtsystems ist daher eingeschrankt . 

Aufgabe der vorliegenden Erfindung ist es daher, technische 
MaUnahmen anzugeben, durch die die Leistungsf ahigkeit insbe- 
sondere eines grofien Prozessorsystems erhoht wird. 
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Diese Aufgabe wird erf indungsgemaii durch eine Einrichtung im 
Prozessorsystem gelost, die die Merkmale des Anspruchs 1 auf- 
weist . 

Danach haben die zusatzlichen Cachespeicher nicht nur eine 
einfache Cachespeicherblock-Verwaltung uber die Zustande M, 
E, S und I realisiert, sondern es ist eine kombinierte Zu- 
standsverwaltung zwischen jeweiligen zusatzlichen Cachespei- 
chern bzw. den Cachespeichern der Einzelprozessoren reali- 
siert. Diese kombinierte Zustandsverwaltung zeigt sich in der 
Erweiterung der MESI-Zustande des Cache-Protokolls der zu- 
satzlichen Cachespeicher. Der Vorteil ist, dass eine erhShte 
Anzahl von Update-Anf orderungen (Requests) in Richtung andere 
Stellen im Prozessorsystem eingespart werden konnen, da auf 
Grund der erweiterten MESI-Zust&nde vorab entschieden werden 
kann, dass betreffende angeforderte Cachedatenblocke nicht an 
den anderen Stellen im Prozessorsystem sein k5nnen. Der Lei- 
stungsaufwand, der fur diese Update-Anf orderungen bisher be- 
notigt wurde, steht daher jetzt dem Prozessorsystem als Nutz- 
leistung zur Verfttgung. Die Leistungsf ahigkeit des Pro- 
zessorsystems ist somit erhoht. 

Zu einer Erhohung der Leistungsf ahigkeit des Prozessorsystems 
tragt auflerdem der Umstand bei, dass auf Grund der er- 
weiterten MESI-Zustande nochmals einige Falle unterschieden 
werden konnen, in denen zwar Handlungen notig sind, die aber 
insgesamt schneller erftillt werden k5nnen. Beispielsweise 
gibt es Falle, in denen zwar auf Grund einer vorausgehenden 
Update-Anforderung von einem Teil des Prozessorsystems an ei- 
nen zusatzlichen Cachespeicher eine vom zusatzlichen Cache- 
speicher durchgefuhrte nachfolgende Update-Anforderung an 
niedrigere Cachehierarchien notwendig ist. Beispielsweise urn 
zu erreichen, dass ein betreffender Cachespeicherblock den 
MESI-Zustand I zugewiesen bekommt. In den besagten Fallen 
kann aber auf Grund des vorliegenden erweiterten MESI-Zu- 
stands bekannt sein, dass vom betreffenden Cachespeicherblock 
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nicht vorher noch modif izierte Daten zu tibertragen sind. In 
diesen Fallen beispielsweise kann der zusatzliche Cachespei- 
cher dem die vorausgegangene Update-Anf orderung initiierenden 
Teil des Prozessorsystems sofort mitteilen, dass die besagte 
MESI-Zuweisung erfolgt ist, obwohl diese Zuweisung vom zu- 
satzlichen Cachespeicher tatsachlich erst in einer an- 
schlieflenden MaJlnahme veranlasst wird. Das Prozessorsystem 
braucht daher nicht bis zur Bestatigung des tatsachlichen En- 
des der Update-Anf orderung warten, sondern kann sofort mit 
nachsten Aufgaben beginnen. 

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand 
von Unteransprtichen. 

Danach ist ein Prozessorsystem beztiglich seiner Cachespei- 
cherstruktur hierarchisch gegliedert,. urn durch Abfangen von 
Update-Anforderungen bereits an moglichst hohen Hierarchie- 
ebenen ein Maximum an eingesparten Update-Anforderungen in 
Richtung darunter liegender Hierarchieebenen zu erhalten. 

Durch Auswahl geeigneter MESI-Zustande kann die Anzahl beno- 
tigter MESI-Zustande moglichst gering gehalten werden. Bei 
einer moglichst geringen Anzahl von MESI-Zustanden ist eine 
moglichst geringe Anzahl von Kodierungsstellen bei der digi- 
talen Kodierung der MESI-Zustande notig. Der Hardwareauf wand 
ist dadurch reduziert-. 

Nachfolgend wird die Erfindung anhand einer Zeichnung naher 
erlautert. Darin zeigen 

Figur 1 eine Prinzipschaltung eines groflen Prozessorsystems 
gemaB dem Stand der Technik, 

Figur 2 ein Zustandsubergangsdiagramm von MESI-Zustanden 
gemaii dem Stand der Technik, 

Figur 3 ein Zustandsubergangsdiagramm von erweiterten MESI- 
Zustanden gemafi der Erfindung, und 
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Figur 4 eine Tabelle mit Situationen, in denen bei einer 

Anwendung von erweiterten MESI-Zustanden gemafi der 
Figur 3 gegeniiber einer Anwendung von MESI-Zustan- 
den gemafi der Figur 2 Systemleistung eingespart und 
als Nutzleistung von einem Prozessorsystem gemafi 
der Figur 1 genutzt werden kann. 

Die Figuren 1 bis 4 sollen helfen, den erf indungsgemafien 
Sachverhalt darzustellen . Sie erheben keinen Anspruch auf 
Vollstandigkeit . Insofern bezieht sich die nachfolgende Be- 
schreibung auf eine mogliche Ausf iihrungsf orm des Standes der 
Technik und der Erfindung. 

Figur 1 zeigt zwei Gruppen mit jeweiligen Einzelprozessoren 
EP, die tiber jeweilige erste Busse BS1 mit jeweils einem zu- 
satzlichen Cachespeicher CS verbunden sind. Die jeweiligen 
zusatzlichen Cachespeicher CS sind Uber einen gemeinsamen 
zweiten Bus BS2 mit einer Hauptspeicherkomponente MEM verbun- 
den. Der zweite Bus BS2 kann auch als Cache- oder System-Bus 
bezeichnet werden. An den zweiten Bus BS2 konnen neben den 
zusatzlichen Cachespeichern konnen alle Arten von I/O- bzw. 
Verbindungssystemen zu weiterf Uhrenden Systemkomponenten an- 
geschlossen sein. Im vorliegenden Ausftihrungsbeispiel sind 
zumindest zeichnerisch keine weiteren Systeme angeschlossen . 
So wie der zweite Bus BS2 als Cache- oder System-Bus bezeich- 
net werden kann, kann der erste Bus BS1 als Prozessor-Bus be- 
zeichnet werden. 

Das in der Figur 1 gezeigte Prozessorsystem ist hierarchisch 
aufgebaut. Aus der Sicht der zusatzlichen Cachespeicher CS 
sind in Richtung erste Busse BS1 niedrigere und in Richtung 
zweiter Bus BS2 hohere Hierarchiestuf en angeordnet. 

Die Verbindungen zwischen den Einzelprozessoren EP und dem 
jeweils zugehorigen ersten Bus BS1, zwischen den ersten Bus- 
sen BS1 und den jeweiligen zusatzlichen Cachespeichern CS, 
zwischen den zusatzlichen Cachespeichern CS und dem zweiten 
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Bus BS2 , sowie zwischen dem zweiten Bus BS2 und der Haupt- 
speicherkomponente MEM sind jeweils bidirektional ausgebil- 
det, so dass zwischen alien Komponenten in alien Richtungen 
Daten und Codes und sonstige benStigte Inf ormationen Uber- 
tragbar sind: 

Die Einzelprozessoren EP haben intern und extern jeweils ei- 
nen Cachespeicher, die in der Figur 1 nicht nSher dargestellt 
sind. Die Cachehierarchie, die durch die beiden Cachespeicher 
eines Einzelprozessors EP zusammen gebildet wird, wird nach- 
folgend als Second Level Cachespeicher (SLC) bezeichnet. So- 
weit vom SLC gesprochen wird, ist darunter auch der zugehori- 
ge Einzelprozessor EP zu verstehen, der die beiden Cachespei- 
cher steuert. Umgekehrt sind, soweit ein Einzelprozessor EP 
angesprochen ist, die beiden intern und extern zu dem Einzel- 
prozessor EP gehorenden Cachespeicher angesprochen. 

Die Kurzbezeichnung SLC ist in den Figuren 2 bis 4 verwendet. 
DemgegenUber sind die zusatzlichen Cachespeicher CS als Third 
Level Cachespeicher (TLC) bezeichnet. Die Kurzbezeichnung TLC 
ist ebenfalls in den Figuren 2 bis 4 verwendet. Die Kurzbe- 
zeichnung TLC wird nachfolgend wahlweise an Stelle des Be- 
griffs "zusatzliche Cachespeicher CS" verwendet. 

Anforderungen (Requests) zwischen den zusatzlichen Cache- 
speichern CS und den Einzelprozessoren EP sind als interne 
Anforderungen aufzufassen, wahrend Anforderungen zwischen den 
zusatzlichen Cachespeichern CS und der Hauptspeicherkomponen- 
te MEM bzw. der am Cachespeicherbus BS2 ansonsten angekoppel- 
ten Komponenten, zum Beispiel I/O-Komponenten, als externe 
Anforderungen aufzufassen sind. 

Befehle, die Anforderungen und deren Abarbeitung im Prozes- 
sorsystem initiieren und bei der Auf rechterhaltung der Cache- 
koharenz eine Rolle spielen, konnen zum Beispiel sein: 
PREFETCH, READSHARED (RDS) , READEXCLUS IVE (RDE) , READMODIFIED 
(RDM) und WRITE (WR) . Diese Befehle verursachen Obergange von 
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Zustanden, die betroffenen Cachedatenblocke auf Grund eines 
nach dem MESI-Prinzip arbeitenden Cache-Protokolls zur Auf- 
rechterhaltung der Cachekoharenz zugeordnet sind. Mogliche 
ZustandsiibergangsdiagramiTie sind den Figuren 2 und 3 zu ent- 
nehmen . 

Das in der Figur 2 gezeigte Zustandsubergangsdiagramm basiert 
darauf, dass das oben angesprochene Cache-Protokoll mit vier 
MESI-Zustanden arbeitet. Das in der Figur 3 gezeigte Zu- 
standsubergangsdiagramm basiert darauf, dass das oben ange- 
sprochene Cache-Protokoll mit erweiterten MESI-Zustanden ar- 
beitet . Im vorliegenden Fall arbeitet das Cache-Protokoll mit 
8 MESI-Zustanden. Die Zustandsiibergangsdiagramme der Figuren 
2 und 3 sind aus der Sicht eines Speicherblocks eines zusatz- 
lichen Cachespeichers CS zu sehen. Die Cachespeicher der Ein- 
zelprozessoren EP haben entsprechende Zustandstibergangsdia- 
grarame . 

Die nachfolgende Beschreibung bezieht sich auf die Figur 2. 

Ausgehend von einem Zustand I eines betreffenden Cachespei- 
cherblocks eines zusatzlichen Cachespeichers CS, der anzeigt, 
dass der Eintrag des betreffenden Cachespeicherblocks ungul- 
tig ist, fuhrt ein an den zusatzlichen Cachespeicher CS ge- 
richteter interner RDS-Befehl bezUglich diesen Cachespeicher- 
blocks letztlich zu einem Zustandsubergang vom Zustand I zum 
Zustand S. Vorher wird aber der Eintrag, da der im zusatzli- 
chen Cachespeicher CS vorliegende Eintrag ungultig ist, durch 
den zusatzlichen Cachespeicher CS aktualisiert . Dazu sind 
Nachfragen bei den anderen Cachespeichern notig, um festzu- 
stellen, wo ein aktueller Eintrag zu finden ist. Dieser Vor- 
gang wird nachfolgend auch als TLC-Command bezeichnet. Nach 
Abschluss des TLC-Commands steht der Eintrag als ein gemein- 
sam genutzter, giiltiger Eintrag im zusatzlichen Cachespeicher 
CS. Entsprechendes gilt, wenn bei gleicher Ausgangslage an- 
stelle des RDS-Befehls, unter der Voraussetzung, dass eine 
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solche Moglichkeit iiberhaupt gegeben ist, eine Prefetch- 
Anforderung durchgefuhrt wird. 

In den Kasten unterhalb des Zustandsubergangsdiagramms ist im 
linken Kasten eine Aufstellung der moglichen vier Zustande 
gezeigt. Daneben sind ftlr den SLC die in den jeweiligeh Fal- 
len moglichen Zustande gezeigt. Es sind auch die fur den TLC 
meglichen Zustande gezeigt. Da die Betrachtung von einem TLC 
ausgeht, stimmen dieses Zustande mit den in der ersten Spalte 
des Kastens angegebenen Zustande Uberein. Wenn nachfolgend 
der Einfachheit halber auch nicht stets explizit angegeben, 
betreffen bei der Angabe von MESI-Zustanden jeweilige 
Cachespeicherblocke in einem betreffenden Cachespeicher . 

Der ersten Zeile des angesprochenen Kastens ist zu entnehmen, 
dass bei einem Zustand I im TLC im SLC ebenfalls der Zustand 
I vorherrscht. Dies ist deshalb so, weil im vorliegenden Aus- 
fuhrungsbei spiel der TLC eine Obermenge zwar nicht unbedingt 
der tatsachlichen Eintrage aber der Informationen uber die 
Zustande der Eintrage der angeschlossenen SLC hat. Dies hat 
zur Folge, dass im SLC stets nur gleiche bzw. nied- 
rigwertigere Zustande auftreten. Umgekehrt gilt, dass der Zu- 
stand im TLC stets gleich oder hoherwertiger ist, als der Zu- 
stand der SLC. 



Eine Ausnahme bildet der Zustand Exclusive, da dieser Zustand 
im wesentlich nur dann sinnvoll ist, wenn zumindest beabsich- 
tigt ist, den betreffenden Eintrag zu modif izieren. Da der 
TLC bei einer Exclusive-Anf orderung nicht weifi, ob der ange- 
forderte Eintrag tatsachlich modifiziert wird, hat er trotz- 
dem davon auszugehen, dass der Eintrag modifiziert wird. Bei 
einer Exclusive-Anf orderung kann daher der tatsachliche Zu- 
stand in einem SLC auch M sein. Dieser Umstand spielt keine 
Rolle, weil eine Modif y-Anf orderung letztlich eine Exclusive- 
Anforderung ist, lediglich mit der Bestimmtheit , dass der 
Eintrag modifiziert wird. 
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1st ein Eintrag im TLC bereits als S markiert unci ergeht an 
den TLC ein RDS-Befehl bezuglich dieses Eintrags, andert sich 
der MESI-Zustand des Eintrags nicht. Auf der anderen Seite 
kann aber der Eintrag in einem SLC, nachdem er vom TLC geholt 
5 worden ist, wieder verworfen werden. Eine Abstufung des MESI- 
Zustandes bezuglich dieses Eintrags im SLC durch den zugehd- 
rigen Einzelprozessor EP ist daher moglich. Dies spielt fur 
den TLC keine Rolle, da der Eintrag selbst nicht verandert 
wurde und somit insgesamt noch GUltigkeit hat. Eine Ver&nde- 

10 rung wtirde der TLC bemerken, weil dazu vorher der Eintrag 
durch den betreffenden Einzelprozessor in einen E- bzw. M- 
Zustand gebracht worden sein muss. Mit dem RDS- Oder Pre- 
fetch-Befehl ist keine Berechtigung einer Modif izierung ver- 
bunden. Hinter dem Zustand S eines Eintrags im TLC kann daher 

15 bezuglich dieses Eintrags im SLC, das heiflt allgemein in 
niedrigeren Cachehierarchien tatsachlich einer der MESI- 
Zustande I oder S ftir einen betreffenden Eintrag stehen. Die- 
ser Sachverhalt ist in dem oben angesprochenen unteren linken 
Hasten in der zweiten Zeile angegeben. 

20 

Dieses Prinzip gilt auch ftir die nachf olgenden Betrachtungen, 
weshalb dort nicht mehr stets in dieser Ausf Uhrlichkeit ein- 
gegangen wird. 

25 Die Befehle RDE oder RDM fordern vom TLC einen Eintrag Exclu- 
sive an. Unabhangig davon, ob fur den Eintrag vorher im TLC 
der Zustand I oder S vorgemerkt ist, wird nachfolgend der 
Eintrag im TLC als Zustand E markiert. Gemali dem oben Gesag- 
ten kann im SLC ftir diesen Eintrag letztlich tatsachlich ei- 

30 ner der Zustande I, S, E oder M zugeordnet sein. Dieser Sach- 
verhalt ist in dem unteren linken Kasten in der dritten Zeile 
angegeben. 



35 



Jeder der Befehle RDE oder RDM bewirkt ein TLC-Command, das 
heifit ein Bus-Request, da der TLC vor der Obergabe des Ein- 
trags dafur sorgen muss, dass ausgehend von dem betreffenden 
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20 



30 
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TLC in den niedrigeren Cachehierarchien des Prozessorsystems 
dieser Eintrag mat dem Zustand I markiert wird. 

Hat ein SLC einen Eintrag des TLC mit dem Befehl RDE oder RDM 
angefordert und dann modifiziert, hat er daftir zu sorgen, 
dass der modifizierte Eintrag wieder mit dem WR-Befehl in den 
TLC zurtickgeschrieben wird. Der TLC markiert daraufhin den 
modifizierten Eintrag mit dem Zustand M. 



Nach dem modif izieren des angef orderten Eintrags kann der an- 
fordernde SLC den Eintrag modifiziert behalten und als sol- 
chen kennzeichnen. Er kann den Eintrag auch zurtlckschreiben 
und in Folge des Zuruckschreibens den Zustand des Eintrags 
herabstufen und ihn nur noch zum Beispiel im Zustand E ftih- 
15 ren. Sollte der Eintrag im SLC angefordert oder verdrangt 

werden, kann der Eintrag in entsprechender Weise entweder den 
Zustand S oder den Zustand I vom SLC zugewiesen bekommen. 
Dies ist moglich, weil der Zustand M vor den Zustanden E, S 
oder I in dieser Reihenfolge am hochstwertigen ist. Der vor- 
stehende Sachverhalt ist in dem in der Figur 2 unten links 
angegebenen Hasten in der vierten Zeile angegeben. 



Ergeht an den TLC ein RDS-, RDE- oder WR-Befehl bezuglich des 
betreffenden Cachespeicherblocks mit dem Zustand M, wird der 
25 Zustand zu diesem Eintrag im TLC nicht verandert . Ergeht an 
den TLC ein RDM-Befehl, kann in einer vorteilhaf ten Ausftlh- 
rungsform der Erfindung der Zustand zum betreffenden Eintrag 
an Stelle des Vermerks M der Vermerk E gefuhrt werden. Dies 
hat den Vorteil, dass in manchen Fallen der Cachespeicher- 
block nicht in unnotiger Weise gelesen wird. Wird ein 
Cachespeicherblock von einem in einer niedrigeren Cachehie- 
rarchie angeordneten Einzelprozessor EP mit RDM angefordert, 
weifi der TLC, dass der Cachespeicherblock tatsachlich veran- 
dert wird. Diese Information ist Teil der RDM-Anf orderung . 
Wiirde der Cachespeicherblock nicht mit Sicherheit verandert 
werden, wiirde er mit dem RDE-Befehl angefordert werden. Mit 
anderen Worten, wird ein Cachespeicherblock mit einem RDM-Be- 
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fehl angef ordert, hat letztlich der anfordernde Einzelprozes- 
sor bzw. der zugehorige SLC die neuesten Daten Exclusive. 
Wird dieser Sachverhalt gleich als solcher Vermerkt/ werden 
die Daten bei einem Zugriff auf diese Daten nicht erst im TLC 
gesucht, sondern sofort mit einem entsprechenden Zeitgewinn 
in einem angeschlossenen SLC. 

In der Figur 2 ist unten rechts ein zweiter Kasten gezeich- 
net, in dem die oben angesprochenen Befehle nochmals aufge- 
fuhrt sind. Neben den Befehlen stehen wesentliche Aktionen, 
die bei diesen Befehlen bezuglich des TLC bzw. SLC ausgehend 
von moglichen unterschiedlichen Ausgangszustanden eines be- 
treffenden Cachespeicherblocks durchgef tihrt werden. Gleicher 
Kasten mit gleicher Bedeutung ist auch unter dem Zustands- 
ubergangsdiagramm der Figur 3 gezeichnet. 

In der Figur 3 ist ein gegentiber dem Zustandsdiagramm der Fi- 
gur 2 erweitertes Zustandsttbergangsdiagramm zu sehen. Das Zu- 
standsUbergangsdiagramm gemafi der Figur 3 hat die erweiterten 
Zustande SI, ES, MI und MS. Die Zustande II, SS, EM und MM 
gehen in der angegebenen Reihenfolge von den Zustanden I, S, 
E und M des Zustandsubergangsdiagramms der Figur 2 aus . 

Der erste Buchstabe einer Zustandsbezeichnung bezieht sich 
auf den Zustand im TLC, wahrend sich der zweite Buchstabe auf 
den Zustand im SLC bzw. in einer niedrigeren Cachehierarchie- 
stufe bezieht. 

Im Ausfuhrungsbeispiel ist als Eintrag fur die Zustandsbe- 
schreibung eines Cachespeicherblocks an Stelle des Eintrags 
EE der Eintrag EM gewShlt, weil zum Beispiel ausgehend von 
den Zustanden SI bzw. SS bei Ankommen eines RDE-Befehls sei- 
tens eines Einzelprozessors EP an den TLC der TLC damit rech- 
nen muss, dass wenn ein Einzelprozessor EP einen Cachespei- 
cherblock Exclusive anfordert, er ihn moglicherweise auch mo- 
difiziert. Da der TLC die Obermenge liber die Zustandssitua- 
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tion im System- zu behalten hat, trSgt er sich die neue Situa- 
tion als EM ein. 

Im Falle, dass der betreffende Cachespeicherblock gleich mit 
einem RDM-Befehl von einem Einzelprozessor EP angefordert 
wird 7 ist die Situation soweit klar, dass der angeforderte 
Cachespeicherblock modifiziert wird. Der Eintrag EM beziiglich 
des angeforderten Cachespeicherblocks ist daher folgerichtig. 

Insgesamt wird mit dieser Methode eine Optimierung des Zu- 
standsubergangsdiagramms erzielt, weil eine Zustandssituation 
nicht dargestellt werden muss, fur deren datentechnische Co- 
dierung moglicherweise eine zusatzliche Bitstelle be- 
reitgestellt werden muss. Acht Zustande lassen sich mit drei 
Bitstellen kodieren. Bei neun und mehr Zustanden sind mehr 
als drei Bitstellen n5tig. 

Bei einer Exclusive-Anforderung (RDE-Befehl) eines Cache- 
speicherblocks durch einen Einzelprozessor EP ist es, wie 
oben angesprochen nicht zwingend, dass der Cachespeicherblock 
modifiziert wird. Der anfordernde Einzelprozessor EP hat den 
betreffenden Cachespeicherblock Exclusive und kann letztlich 
alle moglichen Varianten der Behandlung durchf uhren . Er kann 
ihn beispielsweise an andere Stellen weitergeben oder ihn 
verdrangen. Im ersten Fall hatte der TLC fUr den betreffenden 
Cachespeicherblock den Zustand ES reservieren mussen, im 
zweiten Fall als EI. Alle diese Falle deckt der TLC mit der 
Zustandsbeschreibung EM ab, weil diese die Sicherheit gibt, 
dass bezuglich des betreffenden Cachespeicherblocks auf jeden 
Fall dann erhalten wird, wenn er sich an den betreffenden 
Einzelprozessor EP wendet. Die vorgenannten Falle sind in dem 
linken unteren Kasten der Figur 3 in Zeile funf vermerkt. 

Die Zeile 5 des linken unteren Hastens der Figur 3 entspricht 
der Zeile 3 im linken unteren Kasten der Figur 2. Aufierdem 
entsprechen in der angegebenen Reihenfolge die Zeilen 1, 3 
und 8 des unteren linken Kastens der Figur 3 den Zeilen 1, 2 
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und 4 des linken unteren Kastens der Figur 2. Den Entspre- 
chungen sind jeweils die oben erwahnten Prinzipien zu Grunde 
gelegt . 

Da die Prinzipien, die dem Zustandsubergangsdiagramm der Fi- 
gur 2 zu Grunde liegen, auch dem Zustandsubergangsdiagramm 
der Figur 3 zu Grunde liegen, beschrankt sich die Beschrei- 
bung des Zustandsiibergangsdiagramms der Figur 3 im wesentli- 
chen auf die Beschreibung der Unterschiede . Die einzelnen Zu- 
standsiibergange und die Einnahme von Zustanden bei Vorliegen 
entsprechender Befehle konnen der Figur 3 entnommen werden. 

GemaJi des Zustandsubergangsdiagramms der Figur 3 gibt es be- 
ztiglich eines TLC zwei Shared-, zwei Exclusive- und drei Mo- 
dif ied-Zustande . Bei Pref etch-Anf orderungen ist beispiels- 
weise klar, dass ein in den TLC geholter Eintrag nur im be- 
treffenden TLC vorhanden ist. Fur diese Situation trifft die 
Zustandsbeschreibung SI zu* Wird dieser Sonderfall, aufier dem 
es noch andere geben kann, extra markiert/ kann bei Anforde- 
rungen nach diesem Eintrag auf eine Anfrage auf anderen Ebe- 
nen verzichtet werden. Dadurch wird auf Seiten der ersten 
Busse BS1 Kapazitat frei, die fur andere Bearbeitungen durch 
die Einzelprozessoren EP zur Leistungssteigerung des Prozes- 
sorsystems genutzt werden konnen. 

Die Zustandssituation SI ist im linken unteren Kasten der Fi- 
gur 3 in Zeile 2 notiert. 

Bei den Exclusive-Zustanden gibt es beziiglich der TLC den zu- 
satzlichen Zustand ES . Dieser Zustand wird beispielsweise er- 
halten, wenn ein im TLC Exclusive vorliegender Eintrag von 
einem SLC Shared gelesen wird. In diesem Fall behalt der TLC 
den Zustand E bei und vermerkt den Cachespeicherblock bei 
sich fur den SLC als Zustand S. Der TLC weiii dann, dass der 
Zustand im SLC tatsachlich nur S oder I sein kann. Der Zu- 
stand kann nicht M oder E sein, weil eine solche Berechti- 
gungsanfrage nicht ergangen ist. Der Eintrag kann also auf 
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keinen Fall verandert sein. Der Vorteil durch dieses Wissen 
wird im Zusammenhang mit der Figur 4 naher erlautert. 

Die moglichen Zustande fttr die SLC-Ebene sind im linken un- 
teren Hasten der Figur 3 in Zeile 4 angegeben. 

Neben der Zustandsbeschreibung MM sind die erweiterten Zu- 
standssituationen MI und MS in der Figur 3 angegeben. 

Hatte sich ein SLC einen Eintrag des TLC Exclusive geholt, 
modifiziert und dann mit dem WR-Befehl in den TLC zuruckge- 
schrieben, dann nimmt der TLC fur diesen Cachespeicherblock 
den Zustand MI ein. Der SLC hat den Eintrag verdrangt und ist 
dort nicht mehr gtlltig. In die gleiche Situation gelangt der 
TLC, wenn er einen modif izierten Eintrag hatte, also fur die- 
sen Eintrag im Zustand MM war, und auf den Eintrag nochmals 
mit einem WR-Befehl geschrieben wird. Auch dann nimmt der TLC 
den Zustand MI ein. In diesem Zustand weifi der TLC, dass der 
betreffende Eintrag nicht mehr beispielsweise bei einem SLC 
sein kann. 

Diese Situation ist im linken unteren Kasten der Figur 3 in 
der Zeile 6 notiert. 

SchlieiJlich gibt es noch den erweiterten Zustand MS, der un- 
abhangig davon auftritt, ob fur einen SLC der Zustand I oder 
M eingetragen ist. Der Zustand MS tritt auf, wenn von einem 
SLC Shared gelesen wird. Wie oben schon mehrfach angespro- 
chen, kann aber ein SLC nach einer entsprechenden Aktion ei- 
nen logisch gesehen herabgesetzten Zustand verursachen, so 
dass letztlich hinter der Zustandsbeschreibung MS fur einen 
betreffenden SLC einer der Zustande I oder S stehen kann. 

Dieser Sachverhalt ist im linken unteren Kasten der Figur 3 
in Zeile 7 notiert. 
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Der Vorteil der erweiterten Cachezustande liegt darin, dass 
der TLC eine tief ergehende Kenntnis iiber die Zustandssitua- 
tion innerhalb des Prozessorsystems hat, die es ihm ermog- 
licht, beispielsweise die an die Einzelprozessoren EP ge- 
5 richteten Anf orderungen gezielter weiterzuleiten bzw. abzu- 
fangen. Letzteres kann erfolgen, weil die Anf orderungen vom 
TLC selbst abgehandelt werden konnen. Die Auslastung der Pro- 
zessorseite wird dadurch verringert. Die Einzelprozessoren EP 
konnen verstarkt Aufgaben zur Steigerung der Wirkleistung des 
10 Prozessorsystems warnehmen. 

In Figur 4 sind einige Falle dargestellt, in welchen Einspa- 
rungen bezuglich von Anf orderungen an die Prozessorseite mog- 
lich sind. 

15 

Als Beispiel sind zwei externe Befehle herangezogen worden. 
Unter einem externen Befehl ist, wie frUher schon erwahnt, 
ein Befehl zu verstehen, der von der Systembusseite an den 
TLC gerichtet wird. Der eine externe Befehl ist ein RDS- und 
20 der andere ein RDE-Befehl. 

In der Figur 4 ist in einem unteren Teil der Figur der Fall 
der erweiterten MESI-Zustande in einem oberen Teil der Figur 
der Fall der bisherigen vier MESI-Zustande gegenubergestellt . 

25 

Im Fall, dass ein Cachespeicherblock im TLC den Zustand I 
bzw. II hat, ist das Ergebnis in beiden Fallen das gleiche. 
In beiden Fallen sind keine Mafinahmen durchzufiihren. In bei- 
den Fallen liegt ein sogenannter MISS-Fall vor, das heifit, es 
30 konnen keine Daten geliefert werden. 

Ist der Zustand des vom RDS- bzw. RDE-Befehl betroffenen Ein- 
trags im TLC als S markiert, dann sind bei einem RDS-Befehl 
sowohl beim vierer als auch beim erweiterten Zustandsmodell 
35 keine Mafinahmen notig, weil der Eintrag im TLC bereits S ist. 
Bezuglich des erweiterten Zustandsmodells macht es keinen Un- 
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terschied, ob tatsachlich der Zustand SI oder SS vorgelegen 
hat. 



Beim RDE-Befehl ist beim vierer Zustandsmodell sowohl bezug- 
lich des TLC als auch des SLC dafiir zu sorgen, dass der dem 
betreffenden Cachespeicherblock zugewiesene Zustand von S 
nach I abgeandert wird. Der betreffende Cachespeicherblock 
ist dann Exclusive fur an die Seite der Einzelprozessoren EP 
notwendig. Dies belastet den Prozessorbus, der deshalb fur 
andere Aufgaben zeitweise nicht zur Verfugung steht. 

Beim erweiterten Zustandsmodell ist bezuglich des RDE-Befehls 
nicht immer eine Anforderung an die Prozessorseite no tig. War 
zum Beispiel der vermerkte Zustand bezUglich des an- 
geforderten Eintrags beim TLC SI, ist es nicht mehr notig, 
vom TLC aus dafur zu sorgen, dass ein betreffender SLC seinen 
Zustandsvermerk zum betreffenden Cachespeicherblock in den 
Zustand I abandert. Der TLC weifi bereits, dass der betref- 
fende Cachespeicherblock auf Seiten der Einzelprozessoren als 
I eingestuft ist. In diesem Fall wird also die Prozessorseite 
nicht mehr extra belastet. Letztlich steht dadurch mehr Pro- 
zessorleistung fur andere Aufgaben zur Verfugung. 

Ist der Zustand des vom RDS- bzw. RDE-Befehl betroffenen Ein- 
trags im TLC E, ist es beim vierer Zustandsmodell und RDS-Be- 
fehl, bevor dafur gesorgt wird, dass ein betreffender 
Cachespeicherblock im TLC und in den niedrigeren Cachehierar- 
chien den Zustand S zugewiesen bekommt, erf orderlich, nach- 
zusehen, ob nicht irgendwo im Prozessorsystem zwischenzeit- 
lich neuere Daten zum betreffenden Cachespeicherblock vor- 
liegen, da, wie oben schon erwahnt, ein als Exclusive ange- 
forderter Cachespeicherblock spater bei entsprechenden wei- 
teren Aktionen durch die anfordernde Einheit in einen der Zu- 
stande M, E, s oder I gebracht werden konnte. Die Prozessor- 
seite wird daher in diesem Fall nicht produktiv belastet. 
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Entsprechendes gilt beim RDE-Befehl mit dem Unterschied, dass 
die SLC-Einheiten dazu gebracht werden miissen, den betreffen- 
den Cachespeicherblock mit dem Zustand I zu kennzeichnen. 
Auch hier wird die Prozessorseite unproduktiv belastet. 

Mit dem erweiterten Zustandsmodell kann die Leistung des Pro- 
zessorsystems gesteigert werden, indem eine unproduktive Lei- 
stung eingespart wird. Hat beim erweiterten Zustandsmodell 
ein Cachespeicherblock den Zustand ES zugewiesen und erfolgt 
beziiglich dieses Cachespeicherblocks ein externer RDS-Befehl, 
konnen weitere Veranlassungen seitens des TLC in Richtung 
niedrigere Cachehierarchien entfallen. Ober die SLC ist be- 
reits bekannt, dass der betreffende Cachespeicherblock dort 
schon im Zustand S gefuhrt ist. Durch die Tatsache, dass der 
betreffende Cachespeicherblock in den niedrigeren Cachehier- 
archien im Zustand S geftihrt ist, ist bekannt, dass in den 
niedrigeren Cachehierarchien keine Modif izierung beztiglich 
des betreffenden Cachespeicherblocks passiert ist. Es konnen 
also von Seiten der niedrigeren Cachehierarchien her keine 
aktuelleren Daten geholt werden. Es braucht somit weder nach- 
gepriift werden, ob aktuellere Daten vorliegen, noch muss da- 
ftir gesorgt werden, dass eine Anderung der Zustands- 
kennzeichnung erfolgt. 

Ausgehend von der Zustandskennzeichnung ES beim TLC und einem 
vorliegenden externen RDE-Befehl ist, da, wie oben beschrie- 
ben, bekannt ist, dass keine neueren Daten vorliegen konnen, 
lediglich dafiir zu sorgen, dass der Cachespeicherblock in den 
niedrigeren Cachehierarchien mit I gekennzeichnet wird. Dafiir 
ist nur eine einfache Anforderung an die Seite der niedrige- 
ren Cachehierarchien erforderlich. Insgesamt ist die unpro- 
duktive Leistung des Prozessorsystems geringer, als wenn, wie 
im vierer Zustandsmodell, noch zusatzlich vorher nachgepruft 
werden muss, ob moglicherweise noch neuere Daten vorliegen. 

Besonders deutlich wird das Einsparungspotential in dem Fall, 
in dem im TLC Cachespeicherblocke im Zustand M gefuhrt sind. 
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BezUglich des vierer Zustandsmodells, bei dem keine tieferge- 
hende Unterteilung des Modif ied-Zustands getroffen ist, gilt 
sowohl fUr den RDS- als auch ftlr den RDE-Befehl, dass stets 
alle Mafinahmen getroffen werden mtissen, urn entweder zu prii- 
5 fen, ob nicht noch neuere Daten existieren, bevor dann veran- 
lasst wird, dass der betreffende Cachespeicherblock mit dem 
Zustand S bzw. I gekennzeichnet wird. 



10 



15 



20 



Das erweiterte Zustandsmodell lafit eine Dif f erenzierung des 
Modif ied-Zustands zu. Im vorliegenden Ausftihrungsbeispiel ist 
der Modif ied-Zustand in die Zustande MI, MS und MM unter- 
teilt. Im Falle, dass ein externer RDS-Befehl an den TLC ge- 
richtet wird, kann in den Fallen MI und MS in Analogie zum 
frtiher Gesagten jegliche Anforderung an die Seite niedrigere 
Cachehierarchien entfallen. Bei Vorliegen eines RDE-Befehls 
kann braucht zumindest nicht nachgeprtift werden, ob neuere 
Daten existieren. Es gentlgen einfache Anf orderungen in Rich- 
tung niedrigere Cachehierarchien, durch die daftlr gesorgt 
wird, dass in den niedrigeren Cachehierarchien die Zustands- 
kennzeichnung zum betref f enden Cachespeicherblock in I abge- 
andert wird. 



In der Figur 4 sind die Positionen, bei denen Mafinahmen gar 
nicht Oder nur eingeschrankt notwendig sind, mit einem Ausru- 
25 fezeichen gekennzeichnet. In Bezug auf diese Positionen kon- 
nen unproduktive Belastungen des Prozessorsystems eingespart 
werden . 
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1. Einrichtung zur Erhbhung der Leistungsf ahigkeit von Pro- 
zessorsystemen bestehend aus einer groBen Zahl von Einzelpro- 

5 zessoren und mehreren Cachespeichern, die zur Aufrecht- 

erhaltung von Cachekoharenz untereinander ftlr die Verarbei- 
tung eines nach einem MESI-Standard arbeitenden Cache-Proto- 
kolls ausgelegt sind, dadurch gekennzeichnet, dass 
das nach dem MESI-Standard arbeitende Cache-Protokoll in der 

10 Weise konfiguriert ist, dass bei der Anzeige von MESI-Zu- 

standen wenigstens zum Teil eine Mehrf achanzeige gegeben ist 
in der Weise, dass wenigstens jeweils sowohl der MESI-Zustand 
eines betreffenden Cachespeichers (CS) als auch der MESI-Zu- 
stand eines daran angeschalteten Einzelprozessors (EP) be- 

15 ziehungsweise eines daran angeschalteten anderen Cache-Spei- 
chers (CS) angezeigt ist. 

2 . Einrichtung nach Anspruch 1 , dadurch gekenn- 
zeichnet, dass das Prozessorsystem Einzelprozessoren 

20 (EP) hat, die wenigstens zum Teil zugehorige erste bzw. erste 
und zweite Cachespeicher haben, und dass das Prozessorsystem 
zusatzliche Cachespeicher (CS) hat, die wenigstens in einer 
ersten Hierarchiestuf e angeordnet sind und an die einzeln 
oder gruppenweise, rein oder gemischt Einzelprozessoren (EP) 

25 bzw. weitere zusatzliche Cachespeicher (CS) angeschaltet 
sind. 



3. Einrichtung nach Anspruch 1 oder 2, dadurch ge- 
kennzeichnet, dass durch die Mehrf achanzeige MESI-Zu- 
30 standskombinationen wie II, SI, SS, EM, ES, MI, MS oder MM 
angezeigt sind. 
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